Nhân đà thắng lợi, Tạ An bèn cử Tạ Huyền làm Đô đốc tiên phong, cùng tướng Hàng Thạch Kiền đi đánh Tần. Quân Tạ Huyền chiếm được Viên Thành, Quyên Thành. Nhiều thành ở Hà Nam lần lượt xin hàng. Sau đó, ông dẫn quân đánh Thanh châu. Tướng Tần giữ Thanh châu là Phù Lãng bại trận xin hàng.

Sau khi bình định các châu Từ, Duyện, ông trở thành đô đốc coi việc quân sự cả bảy châu Từ, Duyện, Thanh, Ty, Ký, U, Bình, được phong làm Khang Lạc công. Tạ Huyền đóng quân ở Bành Thành, làm thái thú Cối kê.

Tháng giêng năm 388 thời Tấn Hiếu Vũ đế, Tạ Huyền lâm bệnh mất, lúc đó ông mới 46 tuổi. Trong số các con cháu của ông có Tạ Linh Vận (385 - 433) - cháu nội Tạ Huyền, cũng là một nhân vật tài hoa của gia tộc họ Tạ.